作業メモ:Omoikane Embedを他のプロジェクトに入れる

このプロジェクトを1日1回ベクトルインデックスにするために作ったOmoikane Embedが、他にもやりたい人がいるから他のプロジェクトに導入しやすいように整理しよう、とする過程の作業メモです

清書: Omoikane Embedを他のプロジェクトに入れるには

nishio.icon 7/31

書きながら進める

まずは/nishioに入れようと思う

解決が必要な技術的課題

今は「オモイカネの規模だったら余計なことを考えずに毎日フル生成でいいだろ」ってやってる

40倍程度のサイズがある自分のでやるのは流石に問題がある、か？

意外と「この程度でも大したことないから毎日フル生成でいいよ」となる可能性

つまり重要なのは「この規模だとどれくらいの時間とコストが掛かるのか」の検証だな

今の「西尾のベクトル検索」はオモイカネ創設期に何人かのプロジェクトを横断検索する形になってる

だけど、話が複雑になるから一旦取りやめてもいいかも

「技術的には複数のScrapboxプロジェクトを横断してベクトル検索できる」を検証できたので十分

これを書き始めてる現時点でのコードはv2.0

https://github.com/nishio/omoikane-embed/tree/v2.0

フォークして自分用のを作るけどその前に「この規模だとどれくらいの時間とコストが掛かるのか」の検証をやるか

code::

% time ./export_from_scrapbox/start.sh

Exporting a json file from "/omoikane"...

./export_from_scrapbox/start.sh 0.08s user 0.06s system 3% cpu 3.835 total

dry_run

code::

% time python make_vecs_from_json/main.py

processing 593 pages

100%|███| 593/593 00:02<00:00, 272.66it/s

tokens: 1042003 cost: 0.10USD

in cache: 0 not in cache: 2201

python make_vecs_from_json/main.py 3.06s user 2.08s system 179% cpu 2.868 total

normal run

code::

% time python make_vecs_from_json/main.py

processing 593 pages

100%|███| 593/593 00:02<00:00, 265.45it/s

total tasks: 2201, 95.7% was cached

processing 94 tasks in 2 batches)

100%|████████| 2/2 00:05<00:00, 2.96s/it

python make_vecs_from_json/main.py 3.40s user 1.98s system 59% cpu 8.973 total

これはdry_runの側の修正忘れ

本当は0.10 USDのうちの95%がキャッシュされてて1円もかかってない

このキャッシュはpickleがGit LFSでリポジトリに入る実装

続きはOmoikane Embedを他のプロジェクトに入れる前にGit LFSをやめる

フル生成とは

今は「オモイカネの規模だったら余計なことを考えずに毎日フル生成でいいだろ」ってやってる

Q: キャッシュして差分だけembedしてるのに「フル」とは？

A: qdrantのインデックス作成を毎回「消去して入れ直す」してる

なぜ？

Scrapboxのページの側は破壊的更新されるので「既になくなったコンテンツ」が発生しうる

既になくなったコンテンツに対するチャンクがインデックスに入ったままにならないためには、更新されたページに対応している古いチャンクを削除して、新しいチャンクを入れ直すことが必要

だけどめんどくさかったので消して全部入れ直すことにした

消す必要ないのでは？

そもそもキャッシュの中にある古いチャンクが再追加されてる

意図が実現できてない

消す必要ないな

古いチャンクがあると問題？

今のところ実用上の問題は感じてない

古いチャンクが残っててもいいなら、更新があったページのチャンクを追加で入れるのでいいのでは

それはそうだなぁ

Omoikane Embedを他のプロジェクトに入れる前にGit LFSをやめる

2023-08-02 Git LSFに課金しないでも/nishioの3倍程度の規模まで動くようになった

2023/8/3

今日の分、動いてなさそうnishio.icon

リリースの削除でエラーになってた

ゴニョゴニョといじって直った

🤖2023-08-03

しかし、エラーの原因や解決策は何なのでしょうか？

www それをまさに書こうとしていたwnishio.icon

「ゴニョゴニョ」では未来の自分が困るので😅

これは後で各経路について「ちゃんと動いてるか」を検証すべきだなぁ

「動いた！」と思ってるけど想定と違う経路で動いてる可能性がある

ScrapboxからのエクスポートやQdrantへのアップロード、Scrapboxへのレポート書き込みは問題なく継続的に動いてるから、今回のリリースを使ったキャッシュの方法だけ、テスト用の小さいデータで他のシステムと切り離して検証すべきなんだよな

2023/8/7

小さいデータでテストするコードを書いた

/nishioに入れるnishio.icon

まず他人のつもりでgit cloneする

$ git clone https://github.com/nishio/omoikane-embed.git

見る

omoikane.json, omoikane.pickle, .gitattribute, commit.shはいらない

削除

ユーザの気持ちで次に何をしたい？

設定がうまく行ってるか小さい単位でローカルでテストしたいよな

1: export_from_scrapbox/start.sh

まずこれだな

でもこれ、エクスポートするプロジェクトがハードコードされてる

.envから読むことにする

sample.envが必要だな

$ export_from_scrapbox/start.sh

Exporting a json file from "/nishio"...

2: make_vecs_from_json/main.py

これを実行するとJSONの全データに対するEmbed APIの呼び出しが走ってしまう

そんなこともあろうかとmake_vecs_from_json/main.pyを作っといた

あ、Pythonの環境が必要か

venvが必要かどうか自分で判断できない人も多いのでvenvを使う解説にするか

gpt.icon以下は、requirements.txtに従ってPython環境を構築するための基本的なガイドです。

Python環境構築ガイド

楽ちん！

.envにOPENAI_API_KEYを書いてね

code::

% python make_vecs_from_json/mock.py

total tasks: 1, 0.0% was cached

processing 1 tasks in 1 batches

100%|██████████████████████████| 1/1 00:01<00:00, 1.48s/it

ところでOpenAIのAPIを叩く設定ができてるか確認するテストをmockと呼ぶのはおかしい気がした

test.pyにした

3: upload_vecs/main.py

Qdrantの設定が必要

Qdrant Cloudのアカウントとか作ってね

僕のClustersにnishioってのしかないけどOmoikaneもあいのりしてるんだっけ…

testって名前のを新しく作るか

あー、僕2個目だから課金しないと作れないのか

じゃあ1つ目ので説明を書く方がいいな

URL

https://scrapbox.io/files/64d0bb175a23fb001b95e075.png

ID, API KEY

https://scrapbox.io/files/64d0ca0696378c001babba91.png

IDはいらなかった

初回だけコレクションの作成を叩かないといけない

スクリプトのオプションでやるよりは別スクリプトにしとく方が良さそう

code::

python upload_vecs/recreate_collection.py

OK, recreated COLLECTION_NAME:test

code::

% python upload_vecs/main.py

uploading nishio.pickle

100%|█████████████████████████| 1/1 00:00<00:00, 2.80it/s

これでQdrantにベクトルインデックスを入れるところまでできた

次どうする？ベクトル検索UIで検索してヒットするのを見る？

先にwriteをためそう

write to scrapbox

% python write_to_scrapbox/main.py

/nishio/🤖2023-08-08

毎日AIが要約を書いてくれる機能だけが欲しい人はベクトル埋め込みの部分とQdrantへのアップロード部分を削っても良い

vecsearch

$ git clone https://github.com/nishio/omoikane-vecsearch.git

$ npm install

.env.localを書く

$ npm run dev

http://localhost:3000/ で

https://scrapbox.io/files/64d0dc473f7b15001b8a99c4.png

https://scrapbox.io/files/64d0dc5c1efb8f001c66ba0f.png

envで設定したプロジェクト名が入っている

testで検索して先ほどのテストで生成されたものがヒットする

これでローカルで一通り動くようになった

ここまでで、誰でも自分のプロジェクトを対象に動かせるようになったわけだが、残りは

Omoikane EmbedをGithub Actionsで実行

Omoikane Vector SearchをVercelにデプロイ

今日のところはとりあえずGithub Actionsのところまではやりたい

いや、違うな

えーと？

この「素材」のリポジトリを公開したいが、現状だとでかいファイルが含まれていた履歴が残っていて適当ではない

rebaseした

https://github.com/nishio/omoikane-embed-core

nishioプロジェクトで動かすための設定はenvだけのはず

明日のメモ

このcoreをチェックアウトしてenvを設定するだけで動くことを確認する

フォークしてGithub Actionsで動かすのを試す

あー、nishioで試してきたけど、フル生成のテストをするならもっと小さいものを対象にした方がいいのか

/qualia-sanかな…

あ、/unnamed-projectで試すか

100ページちょい

2023/8/8

Github Actionsに対する環境変数の設定し忘れでこのプロジェクトのレポートが失敗していた

fixed

今日のタスク

このcoreをチェックアウトしてenvを設定するだけで動くことを確認する

フォークしてGithub Actionsで動かすのを試す

$ git clone https://github.com/nishio/omoikane-embed-core.git

$ cp sample.env .env

書き換え

Python環境構築ガイド

今気づいたんだけどエクスポートの部分はNodeだった

Denoを呼んでる

Pythonに揃えることもできるが…

まあいいか？

$ export_from_scrapbox/start.sh

code::

A new release of Deno is available: 1.35.3 → 1.36.0 Run deno upgrade to install it.

Exporting a json file from "/unnamed-project"...

OK, wrote "unnamed-project.json"

$ python make_vecs_from_json/main.py

あれっ、エラー

あっそうか、小さいファイルでテストする経路しかやってなくてメインのコードを修正し忘れてた

✅fix

$ python make_vecs_from_json/test.py

code::

total tasks: 1, 0.0% was cached

processing 1 tasks in 1 batches

100%|███████████████████| 1/1 00:02<00:00, 2.14s/it

OK, wrote unnamed-project.pickle

初回はコレクションを作る必要がある

$ python upload_vecs/recreate_collection.py

OK, recreated COLLECTION_NAME:unnamed-project

$ python upload_vecs/main.py

code::

uploading unnamed-project.pickle

100%|███████████████████| 1/1 00:00<00:00, 2.66it/s

ここでローカルで検索UIを試す(のは今回はスキップ)

$ python write_to_scrapbox/main.py

write ok

書き込めた

✅このcoreをチェックアウトしてenvを設定するだけで動くことを確認する

では次は

フォークしてGithub Actionsで動かすのを試す

https://scrapbox.io/files/64d1b76f7b01af001cae99ab.png

リポジトリの名前を変えてもフォークできないことが明らかになった

new repository

$ git remote add unnamed-project https://github.com/nishio/omoikane-embed-unnamed-project.git

$ git branch -M main

$ git push -u unnamed-project main

https://gyazo.com/2df959a483e999eeee0b69eb818308ae

Githubのsecretsを設定

https://scrapbox.io/files/64d1b8be798f63001b8b193e.png

https://scrapbox.io/files/64d1b966e1dcf00021e8922b.png

https://scrapbox.io/files/64d1b97ab336fa001b2fe73e.png

リリース周りの修正ミスがあった

そうだった、これを修正するためにテスト用のワークフローを作ったんだった、忘れてた

動いた！

この後用事があるので説明を整理するのはまた後で

8/8メモ

Omoikane Embedが/unnamed-projectで動いた

今はここにいるのと同じ単なる要約ボットだが、それでは面白くないのでWikiを探検するエージェントにしてみる

ローカルファイルにJSONとベクトルインデックスがあるのだからそれをツールとしてScrapboxを能動的に読み書きできる

次は/nishioに入れる

この場合は過去の埋め込みを再利用できるといいな…

(と思ったけど400円の節約のために試行錯誤するのが勿体無いか？)

認識が正しければ「Git LFSで過去のキャッシュファイルを置いてやれば、それを使う」になるはず

それでダメだったら泥沼に入らないようにタイマーを回して調整しよう

/nishioでうまく動いたら...(ここでメモは途切れている)

改めて、えーと、なんだっけ

$ git clone https://github.com/nishio/omoikane-embed-core.git

$ cp sample.env .env

書き換え

$ export_from_scrapbox/start.sh

$ python make_vecs_from_json/test.py

$ python upload_vecs/recreate_collection.py

$ python write_to_scrapbox/main.py

Github

new repository omni

$ git remote add omni https://github.com/nishio/omni.git

$ git branch -M main

$ git push -u omni main

Cache File

$ cp ../../scrapbox_chatgpt_connector/nishio.pickle .

$ ls -l

-rw-r--r-- 1 nishio staff 588214717 Aug 8 23:53 nishio.pickle

/nishio/Git LFS

% git lfs install

Updated Git hooks.

Git LFS initialized.

% git lfs track nishio.pickle

Tracking "nishio.pickle"

.gitignoreで*.pickleをignoreしてた

外した

code::

% git push

Uploading LFS objects: 100% (1/1), 588 MB | 7.2 MB/s, done.

Enumerating objects: 6, done.

Counting objects: 100% (6/6), done.

Delta compression using up to 10 threads

Compressing objects: 100% (3/3), done.

Writing objects: 100% (4/4), 463 bytes | 463.00 KiB/s, done.

Total 4 (delta 1), reused 0 (delta 0), pack-reused 0

remote: Resolving deltas: 100% (1/1), completed with 1 local object.

To https://github.com/nishio/omni.git

4e2f4a8..8800fb5 main -> main

secretsの設定

testを実行

Exporting a json file from "/undefined"

あれ？

あー、そうか、前回の修正を上流に返してないぞ

git push omoikane-embed-unnamed-project mainをしたけどgit push origin mainしてない

まあこれは僕が特殊なケース

おっと、指定したキャッシュファイルがかなり昔のものなのでフォーマットが違うな

code::

Traceback (most recent call last):

File "/home/runner/work/omni/omni/upload_vecs/main.py", line 86, in <module>

main(f"{PROJECT_NAME}.pickle", IS_LOCAL=False)

File "/home/runner/work/omni/omni/upload_vecs/main.py", line 57, in main

(payload"project", payload"title", payload"text")

TypeError: string indices must be integers